Đất Hà Giang xưa thuộc bộ Tân Hưng, một trong 15 bộ của nước Văn Lang. Về sau, Hà Giang nằm trong phạm vi thế lực của ba Tộc tướng xứ Thái. Trong giai đoạn Minh thuộc đầu thế kỷ 15, được gọi là huyện Bình Nguyên, đổi thành châu Bình Nguyên từ năm 1473, sau lại đổi tên thành châu Vị Xuyên.

Vào cuối thế kỷ 17, tộc trưởng người Thái dâng đất cho Trung Hoa, đến năm 1728, Trung Hoa trả lại cho Đại Việt một phần đất từ vùng mỏ Tụ Long đến sông Lô. Năm 1895, ranh giới Hà Giang được ấn định lại như trên bản đồ ngày nay.

Sau năm 1954, tỉnh Hà Giang có tỉnh lị là thị xã Hà Giang và 4 huyện: Bắc Quang, Đồng Văn, Hoàng Su Phì, Vị Xuyên.

Ngày 15 tháng 12 năm 1962, chia huyện Đồng Văn thành 3 huyện: Đồng Văn, Mèo Vạc và Yên Minh; chia huyện Vị Xuyên thành 2 huyện: Vị Xuyên và Quản Bạ.

Ngày 1 tháng 4 năm 1965, chia huyện Hoàng Su Phì thành 2 huyện: Hoàng Su Phì và Xín Mần.

Trước năm 1975, Hà Giang có các huyện Đồng Văn, Vị Xuyên, Xín Mần, Yên Minh, Mèo Vạc, Hoàng Su Phì, Bắc Quang và Quản Bạ.

Sau năm 1975, Hà Giang được hợp nhất với tỉnh Tuyên Quang thành tỉnh Hà Tuyên.

Ngày 18 tháng 11 năm 1983, 8 huyện được điều chỉnh lại diện tích và nhân khẩu. Cùng năm này, huyện Bắc Mê được thành lập trên cơ sở nhận 10 xã của huyện Vị Xuyên.[11]

Ngày 12 tháng 8 năm 1991, tái lập tỉnh Hà Giang từ tỉnh Hà Tuyên. Khi tách ra, tỉnh Hà Giang có 10 đơn vị hành chính gồm thị xã Hà Giang (tỉnh lị) và 9 huyện: Bắc Mê, Bắc Quang, Đồng Văn, Hoàng Su Phì, Mèo Vạc, Quản Bạ, Vị Xuyên, Xín Mần, Yên Minh.

Ngày 1 tháng 12 năm 2003, huyện Quang Bình được thành lập trên cơ sở tách 12 xã thuộc huyện Bắc Quang, 2 xã thuộc huyện Hoàng Su Phì và 1 xã thuộc huyện Xín Mần.[12]

Ngày 27 tháng 9 năm 2010, chuyển thị xã Hà Giang thành thành phố Hà Giang.[13]